JEV-as-a-Judge: Accept When Confident, Escalate When Unsure
JEV 评判器：置信时接受，不确定时升级
🧭 LLM-as-a-Judge 置信度级联评估
Carnegie Mellon University
用判别式 JEV 做低成本一阶段评判，低置信时级联大模型，在偏好/事实性任务上以 0.36% 成本接近 SOTA 精度
📌 工作参考价值（4 点）
- 在大规模评估生成结果（搜索相关性、广告文案、商品描述、Agent 回答质量）时，可先上轻量判别式 judge 输出 label probabilities，不让大模型生成 rationale；低置信样本路由给强 LLM 或人工复核，显著降低 token 与费用。
- 优先采用冻结的级联策略而非重训：用轻量 judge 的置信度卡阈值，接受高置信判断、升级低置信判断；论文在多个 benchmark 上保留 99% 的 strong judge 精度，适合线上质量监控和批量评估。
- 业务中常见的 pairwise preference / evidence-grounded factuality 评估，可先试 JEV 这类 reward-model judge；对需要复杂推导或识别“写得漂亮但错误”的样本，不要省成本，应直接升级到强 LLM 或人工。
- 将评估输出契约设计为 decision + probability，而不是自然语言理由；便于服务化、监控、校准，也能按业务风险设置不同阈值。